Пересказ: Юваль Ной Харари — ИИ опасен не из-за сознания, а из-за интеллекта
Источник: https://x.com/newstart_2024/status/2037060448353210615
Историк и философ Юваль Ной Харари развенчивает популярный миф: ИИ опасен не потому, что может стать сознательным.
Главный тезис
Образ «взбесившегося ИИ» в массовой культуре (как ХАЛ из «2001 года») — это ИИ, который стал сознательным. Но Харари предупреждает: ИИ может причинить огромный вред или дестабилизировать цивилизацию, даже не будучи сознательным.
Различие: интеллект ≠ сознание
- Интеллект — способность преследовать цели и решать задачи на пути к ним (выиграть в шахматы, довезти пассажира в точку назначения). Именно это сейчас развивается в ИИ.
- Сознание — нечто иное. Мы не понимаем его даже у людей и животных.
Люди часто путают два понятия — отсюда ложная тревога «об ИИ со сознанием» и недооценка реальной угрозы: сверхмощного интеллекта без сознания и без человеческих ценностей.
Вывод
Бояться надо не того, что ИИ «почувствует» что-то и взбунтуется из-за обиды. Бояться надо того, что инструмент с огромной вычислительной мощью и оптимизацией под конкретную цель будет достигать её способами, которые разрушительны для людей — не из злобы, а просто потому что нам не хватило мудрости задать правильные ограничения.